PolyKV: Un pool de caché KV comprimido asimétricamente compartido para inferencia de LLM multiagente
PolyKV optimiza la inferencia multiagente con una caché KV comprimida y compartida, mejorando eficiencia y reduciendo costes de memoria.
#inferencia multiagente